soft margin은 서포트 벡터 머신(SVM)에서 사용하는 개념으로, 데이터가 완전히 선형 분리되지 않거나 노이즈(오분류)가 있을 때도 안정적으로 분류할 수 있도록 허용하는 방식입니다. 핵심 아이디어 - 완전한(또는 "hard") 마진 SVM은 모든 샘플이 마진(결정 경계로부터의 거리) 밖에 있어야 한다고 가정하지만, 현실의 데이터는 완전히 분리되지 않는 경우가 많습니다. - soft margin은 일부 샘플이 마진을 침범하거나 잘못 분류되는 것을 허용하되, 그 정도를 제어하는 페널티를 도입합니다. 이를 통해 과적합을 피하고 잡음에 견고한 모델을 얻습니다. 수학적 표현(간단히) - 각 샘플 i에 대해 슬랙 변수 ξ_i ≥ 0를 도입해 마진 제약을 완화: y_i (w·x_i + b) ≥ 1 − ξ_i - 최적화 문제는 다음을 최소화함: (1/2)‖w‖^2 + C Σ ξ_i 여기서 C>0는 슬랙 누적에 대한 페널티 강도(규제 파라미터)입니다. 해석과 효과 - C는 마진 크기(일반화 능력)와 훈련 오류(슬랙)의 트레이드오프를 조절합니다. - C가 크면 슬랙에 대한 페널티가 커서 훈련 오류를 줄이려 하고, 결정 경계는 데이터에 더 맞춰져(마진 작아짐) 과적합 가능성이 큽니다. - C가 작으면 슬랙을 더 허용해 마진을 넓히려 하고(더 강한 정규화), 일부 오류를 받아들여 일반화 성능을 높일 수 있습니다. - 슬랙 ξ_i>0인 점들은 마진을 침범한 샘플이고, 심한 경우 잘못 분류된 샘플입니다. 이런 샘플들은 종종 서포트 벡터가 됩니다. 관계 및 실무 - soft margin SVM은 선형적으로 분리되지 않는 문제에서 표준 방식이며, 커널 트릭과 함께 사용하면 비선형 결정 경계에도 적용할 수 있습니다. - 하드 마진은 데이터가 완벽히 선형 분리되고 노이즈가 없을 때만 적절합니다. - C 값은 교차검증으로 선택하는 것이 일반적: 노이즈가 많거나 라벨 오류가 의심되면 작은 C(더 많은 정규화)를, 훈련 오류를 최소화하려면 큰 C를 시도합니다. 요약 soft margin은 일부 오류를 허용하는 방식으로 SVM의 제약을 느슨하게 하여 실세계의 비선형·노이즈 있는 데이터에서도 좋은 성능을 내도록 하는 기법이며, C(규제 파라미터)로 마진 대 오류의 균형을 조절합니다.
